When Models Edit Too Much: On the Fidelity of Minimal Code Edits
模型过度编辑：代码最小修改保真度研究
🧭 LLM 代码修复 · 编辑保真度
National University of Singapore
提出可度量的编辑保真度指标，发现LLM普遍过度编辑，保留指令与RL训练能有效减少不必要修改
📌 工作参考价值（4 点）
- 在推荐/广告系统中用 LLM 自动修改策略配置、特征代码、SQL 或推荐逻辑时，要求模型只做必要修改、保持原有结构，可显著降低 review 成本和意外行为风险。
- 设计自动修复/优化 Agent 时，把 '编辑距离' 或 'diff 大小' 作为质量指标，而不只看正确性（如单测通过/线上效果），防止 Agent 大面积重写导致难以审查和回滚。
- 后训练选择：如果业务要求对未见过的新错误/新场景保持最小改动和性能，RL 比 SFT 更稳健；SFT 容易过拟合训练中见过的损坏模式，域外泛化差。
- 评估框架可迁移：构造带已知最小补丁的合成损坏任务，用于系统性地度量 Agent 的编辑保真度，并纳入离线回归测试。